Trường Đại học Sư phạm Hà Nội 2 được thành lập theo Quyết định số 128/CP, ngày 14/8/1967 của Hội đồng Chính phủ, trên cơ sở chia tách Trường Đại học Sư phạm Hà Nội thành 03 trường: Đại học Sư phạm Hà Nội 1, Đại học Sư phạm Hà Nội 2 và Đại học Sư phạm Ngoại ngữ Hà Nội. Trụ sở ban đầu được đặt ở Cầu Giấy, Từ Liêm, Hà Nội.

Ngày 11/10/1975, Trường Đại học Sư phạm Hà Nội 2 chuyển lên Xuân Hoà, huyện Sóc Sơn, Vĩnh Phú (nay là Xuân Hòa, thành phố Phúc Yên, Vĩnh Phúc).